Gumbel-Max 技巧：一种从离散的类别分布（categorical distribution）中采样的方法。做法是对每个类别的打分（如 logits 或对数概率）加上独立的 Gumbel(0,1) 随机噪声，然后取 argmax；得到的类别样本与原本的类别分布一致。常用于机器学习中将“采样”写成更便于计算的形式；其可微近似形式与 Gumbel-Softmax 密切相关。
/ˈɡʌmbəl mæks trɪk/
We used the Gumbel-Max trick to sample a class from the categorical distribution.
我们使用 Gumbel-Max 技巧从类别分布中采样一个类别。
By adding Gumbel noise to the logits and taking the argmax, the model can draw discrete samples efficiently during training.
通过在 logits 上加入 Gumbel 噪声并取 argmax，模型可以在训练过程中高效地产生离散样本。
“Gumbel”来自Gumbel 分布，以德国裔美籍统计学家 Emil Julius Gumbel（埃米尔·尤利乌斯·贡贝尔）命名；“Max trick”指这个方法的关键操作是对加噪后的分数取最大值（argmax）。该技巧在概率与统计推断、以及现代深度学习的离散变量处理（如离散潜变量、离散动作采样）中被广泛引用。
Select Language